Exploring remote photoplethysmography signals for deepfake detection in facial videos

Abstract. With the advent of deep learning-based facial forgeries, also called "deepfakes", the feld of accurately detecting forged videos has become a quickly growing area of research. For this endeavor, remote photoplethysmography, the process of extracting biological signals such as the blood volume pulse and heart rate from facial videos, offers an interesting avenue for detecting fake videos that appear utterly authentic to the human eye. This thesis presents an end-to-end system for deepfake video classifcation using remote photoplethysmography. The minuscule facial pixel colour changes are used to extract the rPPG signal, from which various features are extracted and used to train an XGBoost classifer. The classifer is then tested using various colour-to-blood volume pulse methods (OMIT, POS, LGI and CHROM) and three feature extraction window lengths of two, four and eight seconds. The classifer was found effective at detecting deepfake videos with an accuracy of 85 %, with minimal performance difference found between the window lengths. The GREEN channel signal was found to be important for this classifcationEtäfotoplethysmografian hyödyntäminen syväväärennösten tunnistamiseen. Tiivistelmä. Syväväärennösten eli syväoppimiseen perustuvien kasvoväärennöksien yleistyessä väärennösten tarkasta tunnistamisesta koneellisesti on tullut nopeasti kasvava tutkimusalue. Etäfotoplethysmografa (rPPG) eli biologisten signaalien kuten veritilavuuspulssin tai sykkeen mittaaminen videokuvasta tarjoaa kiinnostavan keinon tunnistaa väärennöksiä, jotka vaikuttavat täysin aidoilta ihmissilmälle. Tässä diplomityössä esitellään etäfotoplethysmografaan perustuva syväväärennösten tunnistusmetodi. Kasvojen minimaalisia värimuutoksia hyväksikäyttämällä mitataan fotoplethysmografasignaali, josta lasketuilla ominaisuuksilla koulutetaan XGBoost-luokittelija. Luokittelijaa testataan usealla eri värisignaalista veritilavuussignaaliksi muuntavalla metodilla sekä kolmella eri ominaisuuksien ikkunapituudella. Luokittelija pystyy tunnistamaan väärennetyn videon aidosta 85 % tarkkuudella. Eri ikkunapituuksien välillä oli minimaalisia eroja, ja vihreän värin signaalin havaittiin olevan luokittelun suorituskyvyn kannalta merkittävä

Ihmisen ja robotin sanattoman kanssakäynnin haasteet sulautetussa järjestelmässä

Tiivistelmä. Robottien kehityksen myötä niitä voidaan hyödyntää tehtävissä, jotka vaativat robotilta jatkuvaa kanssakäymistä ihmisten kanssa. Ihmisten keskuudessa toimivien robottien pitää pystyä vuorovaikuttamaan sulavasti ja luonnollisesti käyttäjiensä kanssa. Sulava kanssakäynti vaatii robotilta kykyä lukea ihmisen sanatonta ja sanallista viestintää sekä kykyä tuottaa ihmisten ymmärtämää viestintää. Tässä työssä kehitettiin toimiva katsekontakti robotille. Työssä käytettiin pohjana InMoov-robotin päätä, jonka silmiä ohjattiin Raspberry PI:lle ja Arduino UNO:lle kehitetyillä ohjelmistoilla. Katsekontakti toteutettiin seuraavalla tavalla: Robotin silmään sijoitetulta kameralta tulevasta kuvasta tunnistetaan kasvot, jonka jälkeen silmät ohjataan kohti kuvassa olevia kasvoja.Challenges of nonverbal human-robot interaction within an embedded system. Abstract. Due to technological improvement of robots they can be utilized in tasks that require constant interaction with humans. Robots that work among humans need to be able to interact naturally and fluently with its users. Smooth interaction requires ability to read both non-verbal and verbal communication of humans and an ability to communicate in a way that can be easily understood. In this project a working eye contact application was built for a robot. The robot used is built on an InMoov robot head, with eyes controlled by software made for Raspberry Pi and Arduino UNO. The application was designed in the following way: A camera mounted in the eye of the robot takes pictures. A face recognition algorithm then finds the face and the eyes are turned towards it

Hydroxysteroid 17-beta dehydrogenase 13 variant increases phospholipids and protects against fibrosis in nonalcoholic fatty liver disease

Carriers of the hydroxysteroid 17-beta dehydrogenase 13 (HSD17B13) gene variant (rs72613567:TA) have a reduced risk of NASH and cirrhosis but not steatosis. We determined its effect on liver histology, lipidome, and transcriptome using ultra performance liquid chromatography-mass spectrometry and RNA-seq. In carriers and noncarriers of the gene variant, we also measured pathways of hepatic fatty acids (de novo lipogenesis [ONLI and adipose tissue lipolysis [ATL] using (H2O)-H-2 and H-2-glycerol) and insulin sensitivity using H-3-glucose and euglycemic-hyperinsulinemic clamp) and plasma cytokines. Carriers and noncarriers had similar age, sex and BMI. Fibrosis was significantly less frequent while phospholipids, but not other lipids, were enriched in the liver in carriers compared with noncarriers. Expression of 274 genes was altered in carriers compared with noncarriers, consisting predominantly of downregulated inflammation-related gene sets. Plasma IL-6 concentrations were lower, but DNL, ATL and hepatic insulin sensitivity were similar between the groups. In conclusion, carriers of the HSD17B13 variant have decreased fibrosis and expression of inflammation-related genes but increased phospholipids in the liver. These changes are not secondary to steatosis, ONL, ATL, or hepatic insulin sensitivity. The increase in phospholipids and decrease in fibrosis are opposite to features of choline-deficient models of liver disease and suggest HSD17B13 as an attractive therapeutic target.Peer reviewe